C'est toujours difficile de conseiller une personne sur la navigation par mer agitée car rien de ne vaut la pratique.
Néanmoins il existe des fondamentaux.
Déjà il faut de la puissance sur le tableau arrière, proportionnelle au bateau. ...
Les chevaux permettent de sortir du clapot ou de la houle et surtout de relancer le bateau, parfois fort utile par houle arrière ou il peut y avoir risque "d'enfourner".
... De face, le bateau va "taper" et il faut réduire la vitesse et baisser le trim.
Si les vagues sont sur l'arrière, il faut trimer (trim positif) pour lever l'avant.
En toutes circonstances, il faut de l'erre. C'est à dire le bateau doit être tenu par son hélice.
Et puis enfin, adapter la vitesse en fonction de l'état de la mer et les capacités du bateau à affronter ces conditions.
... on dit qu'un bateau peut "supporter " des vagues égales a 1/3 de sa longue de coque
Pour ce qui est du confort, c'est bien autre chose...attention même si il est de coutume de dire qu'il faut réduire la vitesse( ce qui paraît logique) en cas de mer formée, avec le mien ( princess riviera 286, donc un bateau lourd, et très marin, mais avec peu de fardage, puisque finalement quasi open), je me suis aperçu que dans des vagues de 1M c'est bien plus confortable et sécurisant( en veillant bien a ne pas prendre une vague scélérate) de naviguer a 18 ou 20 noeuds qu'a des vitesses inférieurs.
En fait il faut essayer un peu tout les régimes, chaque bateau réagissant différemment, en fonction de sa taille, de sa coque, de sa puissance, de son couple, et de sa répartition des masses.
Plein de choses intéressantes écrites sur ce post ( notamment ce que j' ai repris ci-dessus, mais pas que ceux-là )
Il y a plein de facteurs qui vont rentrer en jeu , et donc pas facile de donner des généralités ...
D' abord le bateau :
Il y a le type de carène ...
Entre une carène planante, une semi planante et une "à déplacement", il est évident que le comportement sera différent ...
Le déplacement de la coque ( son poids en ordre de marche ) va également jouer . Et bien sur, plus le déplacement sera faible et plus la répartition des masses ( notamment le poids de l' équipage ) aura un effet.
Je ne détaillerai pas l' importance d' avoir , en cas de besoin, suffisamment de puissance, et la nécessité d' avoir en permanence une main sur la manette des gaz afin de l'
adapter en permanence aux éléments rencontrés.
Toujours à propos du bateau,
et les "voileux" sont bien plus sensibilisés à cela, les
coups de gites latéraux peuvent entrainer une dissymétrie de la carène, et alors que vous aurez la barre dans l' axe, par exemple lors d' une descente de vague un peu au "surf" ( quand on navigue mer arrière ) , si le bateau gite exagérément sur Babord, le bateau aura tendance à aller à ... tribord ...

.
D' une certaine façon,
par mer arrière, il faut corriger la trajectoire par "anticipation" , car une fois que le mouvement (
les "voileux" appellent cela partir au lof ou à l' abattée .. ) est lancé ,
c' est + ou - difficile de le contrer ...
Comme l' a fait remarquer Claude , à ce moment là , il est
utile d' avoir un centre de gravité le plus bas possible, ce qui limitera les coups de gite.
Après concernant l' état de la mer, une fois de plus, il y a plein d' élément qui peuvent se révéler favorables ou défavorable ..
Puisque l' on a parlé du vent ... la
force du vent ne veut pas dire grand chose ...
UN force 3 peut ne pas générer de vagues si c' est un vent de terre et que l' on est près de la terre .
A l' inverse si par exemple c' est un vent d' ouest et que vous naviguez
au Tréport, car à l' ouest , la cote la plus proche c'est ... l' Amérique

... Inutile de dire que si ça souffle depuis longtemps, les vagues auront eu le temps de se former ...
dans la baie de Quiberon en longeant la presqu'ile, vous aurez un plan d' eau quasiment plat et plus vous vous éloignerez de l' "abri" de la presqu'ile et plus les ondulations pourront se former.
Autre facteur, la présence de courant .... pour
une force de vent identique , il y aura une
grande différence si le vent est dans le sens du courant, perpendiculaire ou contraire ...

La hauteur d' eau à également son importance comme l' a fait remarquer notre ami LOMDURONE ; a force de vent égale en plus de l' orientation, moins il y a de fond et plus ça va déferler ...

Pour parler d' une vague, on a souvent tendance à évoquer son creux ..
Certes cela donne une indication.... mais ce qui est au final bien plus important c' est la
distance entre les crêtes des vagues ...

Et cette distance va se
- raccourcir si vous naviguez face aux vagues de plus en plus vite
- rallonger, si vous naviguez dos aux vagues de moins en moins vite
La "pente" de la vague sera évidemment plus ou moins pentue , pour une meme hauteur de vague , si l' espacement des cretes est réduit ou long ...
Et selon les bateaux, pour une pente identique, le comportement sera bien différent ....
Dans certains cas ( selon notamment le poids / la longueur et la carène ) il peut etre plus intéressant de prendre de la vitesse, ainsi la carène aura tendance à "fendre" les vagues en quelque sorte en les " survolant " (
j' exagère un peu l' image 
) ; son assiette longitudinale restera plus constante.
Alors qu' en ralentissant, le bateau ayant moins d' inertie et de portance, il subira bien plus l' impact des vagues .
Les camionneurs ( comme les pilotes ) dans le désert, le savent quand ils traversent une zone de reliefs ou le sable est durci avec un aspect dit de "tôle ondulée" ...
Si vous maintenez une certaine vitesse, il y aura bien moins de vibrations ( et en plus vous aurez franchi ce terrain plus rapidement

) que si vous roulez moins vite, ce qui pourrait entrainer des désordres mécaniques du fait des vibrations et de leurs impacts ...